พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว โปรดเกล้าฯ ให้สร้างบ้านนรสิงห์ พระราชทานแก่พระยาประสิทธิ์ศุภการ ซึ่งต่อมาในปี พ.ศ. 2484 ท่านได้เสนอขายบ้านนี้ให้แก่รัฐบาล เนื่องจากไม่สามารถรับภาระการดูแลบำรุงรักษาได้ ในเดือนกันยายน พ.ศ. 2484 จอมพล แปลก พิบูลสงคราม นายกรัฐมนตรี เห็นว่าควรซื้อบ้านนรสิงห์เพื่อทำเป็นสถานที่รับรองแขกเมือง รัฐบาลได้ให้สำนักงานทรัพย์สินส่วนพระมหากษัตริย์เป็นผู้ซื้อบ้านหลังนี้ มอบให้สำนักนายกรัฐมนตรีเป็นผู้ดูแล ใช้เป็นสถานที่สำหรับรับรองแขกเมืองและย้ายสำนักนายกรัฐมนตรี จากวังสวนกุหลาบ มาอยู่ที่นี่

บ้านนรสิงห์ เปลี่ยนชื่อเป็น "ทำเนียบสามัคคีชัย" เมื่อ พ.ศ. 2484 และต่อมาในปี พ.ศ. 2512 ได้ซื้อขายโอนกรรมสิทธิ์ จากสำนักงานทรัพย์สินส่วนพระมหากษัตริย์ เป็นของสำนักนายกรัฐมนตรี และเปลี่ยนชื่อเป็น "ทำเนียบรัฐบาล"

ท่านเจ้าพระยาฯ ขายบ้านนรสิงห์ให้รัฐบาล และย้ายมาพำนักที่บ้านท่าเกษม ตำบลบางขุนพรหม จนถึงปี พ.ศ. 2505 ได้ขายบ้านท่าเกษมให้กับธนาคารแห่งประเทศไทย